Sau khi tốt nghiệp Đại học Tài chính và Kế toán (nay là Học viện Tài chính), từ tháng 11 năm 1977 đến tháng 8 năm 1982, ông được phân công công tác tại Bộ Tài chính, giữ vai trò cán bộ nghiệp vụ, lần lượt qua các đơn vị Vụ Ngoại tệ và Quản lý ngoại thương (nay là Cục Quản lý nợ và Tài chính đối ngoại), Vụ Cân đối tài chính (nay là Vụ Tài chính các ngân hàng và tổ chức tài chính), Vụ quản lý ngân sách địa phương rồi Vụ Ngân sách Nhà nước.

Tháng 8 năm 1982, ông được thăng làm bậc Phó phòng, công tác tại Vụ Quản lý ngân sách địa phương, Bộ Tài chính. Từ tháng 11 năm 1986, chuyển sang Vụ Quản lý ngân sách nhà nước, Bộ Tài chính. Tháng 5 năm 1987, ông là Phó phòng Thư ký tổng hợp, Văn phòng Bộ Tài chính.[cần dẫn nguồn]

Ông được kết nạp Đảng Cộng sản Việt Nam ngày 27 tháng 1 năm 1987, chính thức ngày 27 tháng 1 năm 1988.[1]

Từ tháng 7 năm 1988 đến tháng 9 năm 1990, ông là Trưởng phòng Thư ký, Văn phòng Bộ Tài chính.[cần dẫn nguồn]

Từ tháng 9 năm 1990 đến tháng 11 năm 1999, ông là Phó Vụ trưởng, Quyền Vụ trưởng rồi Vụ trưởng Vụ Ngân sách nhà nước, Bộ Tài chính.[cần dẫn nguồn]

Từ tháng 11 năm 1999 đến tháng 3 năm 2003, ông là Thứ trưởng rồi Thứ trưởng Thường trực Bộ Tài chính. Ủy viên Ban Cán sự đảng, sau là Phó Bí thư Ban Cán sự Đảng Bộ Tài chính. Vào thời điểm đó, ông là một trong những thứ trưởng trẻ tuổi nhất ở Việt Nam.[cần dẫn nguồn]

Từ tháng 3 năm 2003 đến tháng 1 năm 2006, ông được luân chuyển công tác là Ủy viên Ban Thường vụ Thành ủy, Phó Chủ tịch rồi Phó Chủ tịch Thường trực ủy ban nhân dân Thành phố Hà Nội, Đại biểu HĐND Thành phố. Trong Đại hội Đảng bộ Thành phố Hà Nội khóa XIV, nhiệm kì 2005–2010 diễn ra vào cuối tháng 12 năm 2005, ông cùng Phó Bí thư Thành ủy Hoàng Văn Nghiên và các Phó Chủ tịch của ủy ban nhân dân Hà Nội là Lê Quý Đôn, Đỗ Hoàng Ân, Nguyễn Thế Quang đều không có tên trong danh sách đề cử để được bầu vào Ban chấp hành Đảng bộ. Tuy vậy, ông vẫn có tên trong danh sách đoàn đại biểu Đảng bộ Thành phố đi dự Đại hội Đảng toàn quốc lần thứ X (theo đúng điều lệ Đảng, người được tham dự các đoàn đại biểu đi dự Đại hội Đảng toàn quốc không nhất thiết phải là thành viên trong Ban chấp hành đơn vị hành chính đó).[cần dẫn nguồn]

Tháng 1 năm 2006, ông được điều trở lại làm Thứ trưởng Bộ Tài chính, Ủy viên Ban Cán sự đảng. Ông ít xuất hiện trong những tuyên bố công khai liên can tới việc điều chỉnh thuế nhập khẩu đối với dòng ô-tô cũ, một sự kiện gây ra nhiều chú ý của dư luận đối với ban lãnh đạo Bộ Tài chính.[cần dẫn nguồn]

Tại Đại hội đại biểu toàn quốc lần thứ X của Đảng tháng 4 năm 2006 được bầu vào Ban Chấp hành Trung ương Đảng, giữ chức Bí thư Ban Cán sự đảng.

Ngày 28 tháng 6 năm 2006, ông chính thức được Quốc hội nước Cộng hòa Xã hội Chủ nghĩa Việt Nam phê chuẩn giữ chức vụ Bộ trưởng Tài chính

Ông cũng đồng thời giữ các chức vụ Chủ tịch Hội đồng quản lý Bảo hiểm xã hội Việt Nam; Chủ tịch Hội đồng quản trị (nay là Hội đồng thành viên) Tổng Công ty Đầu tư và Kinh doanh vốn Nhà nước; Đại biểu Quốc hội khóa XII.

Tại Đại hội Đại biểu toàn quốc lần thứ XI của Đảng được bầu vào Ban Chấp hành Trung ương Đảng. Đại biểu Quốc hội khóa XIII.

Ngày 3 tháng 8 năm 2011, tại Kỳ họp thứ nhất Quốc hội Khóa XIII, được Quốc hội phê chuẩn làm Phó Thủ tướng Chính phủ.

Ngày 13 tháng 06 năm 2012, Thủ tướng phê chuẩn ông làm Trưởng ban Chỉ đạo Trung ương về giảm nghèo bền vững (nhiệm kỳ 2011 - 2020).

Ngày 8 tháng 4 năm 2016, ông được Quốc hội khóa XIII miễn nhiệm chức vụ Phó Thủ tướng Chính phủ.[2]